Sau khi chiến dịch Barbarossa nổ ra, Tập đoàn quân 3 bao gồm ba quân đoàn: Quân đoàn súng trường 4 (bao gồm các Sư đoàn súng trường 27, 56 và 85), Quân đoàn súng trường 21 (bao gồm các Sư đoàn súng trường 17, 24, 37 và 50) và Quân đoàn súng trường cơ giới 11(bao gồm các Sư đoàn xe tăng 29, 33 và Sư đoàn cơ giới 204).[6]

Tập đoàn quân 3 gia nhập Phương diện quân Tây, Phương diện quân Trung tâm, Phương diện quân Bryansk trong các trận chiến phòng thủ Grodno, Lida và Novogrudok.

Tập đoàn quân 3 cũng tham gia trận Smolensk, nơi quân Đức chiếm được thành phố sau một chiến dịch khó khăn kéo dài hai tháng, và trận Moskva, trong đó cuộc phản công mùa đông của Hồng quân do Nguyên soái Georgy Zhukov chỉ huy đã đánh lui Cụm Tập đoàn quân Trung tâm hơn 70 dặm (110 km) khỏi Moskva. Trong nửa sau cuộc chiến tại Mặt trận phía Đông, Tập đoàn quân 3 tham gia Trận Kursk. Tại đây lực lượng Liên Xô vượt trội về quân số và trang bị, kết hợp với việc sử dụng hệ thống phòng thủ chống tăng, đã đánh bại quân Đức, do đó ngăn chặn Chiến dịch Zitadelle và cướp đi mọi hy vọng của Quân đội Đức về một chiến thắng trên Mặt trận phía Đông. Tập đoàn quân 3 cũng tham gia các trận tấn công Bryansk, Gomel – Rechitsa và Rogachev-Zhlobin. Trong giai đoạn cuối của cuộc chiến, Tập đoàn quân 3 đã tham gia Chiến dịch Bagration, Chiến dịch Đông Phổ và cuộc tiến vào miền Đông nước Đức, nơi đơn vị tham gia vào Trận Berlin.

Vào ngày 01 tháng 5 năm 1945 Tập đoàn quân 3 bao gồm các Quân đoàn súng trường 35 (bao gồm các Sư đoàn súng trường 250, 290 và 348), Quân đoàn súng trường 40 (bao gồm các Sư đoàn súng trường 5, 129 và 169), Quân đoàn súng trường 41(bao gồm các Sư đoàn súng trường Cận vệ 120, 269 và 283), Lữ đoàn Pháo binh Quân đoàn 4, Lữ đoàn Pháo binh 44, Trung đoàn Pháo phòng không 584 và đơn vị khác.[7]